Finetuning language models on a collection of datasets phrased as instructions has been shown to improve model performance and generalization to unseen tasks. In this paper we explore instruction finetuning with a particular focus on (1) scaling the number of tasks, (2) scaling the model size, and (3) finetuning on chain-of-thought data. We find that instruction finetuning with the above aspects dramatically improves performance on a variety of model classes (PaLM, T5, U-PaLM), prompting setups (zero-shot, few-shot, CoT), and evaluation benchmarks (MMLU, BBH, TyDiQA, MGSM, open-ended generation). For instance, Flan-PaLM 540B instruction-finetuned on 1.8K tasks outperforms PALM 540B by a large margin (+9.4% on average). Flan-PaLM 540B achieves state-of-the-art performance on several benchmarks, such as 75.2% on five-shot MMLU. We also publicly release Flan-T5 checkpoints, which achieve strong few-shot performance even compared to much larger models, such as PaLM 62B. Overall, instruction finetuning is a general method for improving the performance and usability of pretrained language models.

当呈现新任务时，人类可以在构图上推理。先前的研究表明，适当的提示技术使大型语言模型（LLM）能够解决人工构图概括任务，例如扫描。在这项工作中，我们在更现实的语义解析任务中确定了更大的词汇，并完善这些提示技术来解决这些挑战。我们的最佳方法是基于最小的提示：它使用基于提示的句法解析分解问题，然后使用此分解来选择适当的示例并顺序生成语义分析。这种方法使我们能够为CFQ设置新的最新技术，同时仅需要传统方法使用的培训数据的1％。由于我们的方法的一般性，我们希望类似的努力将在其他任务和领域中带来新的结果，尤其是对于知识密集型应用程序。

短期内存（LSTM）和变压器是两个流行的神经结构用于自然语言处理任务。理论结果表明，两者都是图灵完成的，可以代表任何无论如何的语言（CFL）。在实践中，经常观察到变压器模型具有比LSTM更好的表示功率。但原因几乎没有明白。我们研究了LSTM和变压器之间的实际差异，并提出了基于潜空间分解模式的解释。为了实现这一目标，我们介绍了Oracle培训范式，这迫使LSTM和变压器的潜在表示的分解，并监督相应CFL的推动自动化（PDA）的转换。通过强制分解，我们表明LSTM和变压器在学习CFL中的性能上限是关闭：它们都可以模拟堆栈并与状态转换一起执行堆栈操作。然而，没有强制分解导致LSTM模型的故障捕获堆叠和堆叠操作，同时对变压器模型产生边缘影响。最后，我们将原型PDA的实验连接到真实的解析任务，以重新验证结论

知识图表（kgs）以头部关系的形式捕获知识 - 尾部三元组，是许多AI系统中的重要组成部分。 KGS上有两个重要的推理任务：（1）单跳知识图完成，涉及预测公斤中的各个环节; （2），多跳推理，目标是预测哪个kg实体满足给定的逻辑查询。基于嵌入的方法通过首先计算每个实体和关系的嵌入来解决两个任务，然后使用它们形成预测。但是，现有可扩展的KG嵌入框架仅支持单跳知识图完成，并且不能应用于更具挑战性的多跳推理任务。在这里，我们呈现可扩展的多跳推理（SMORE），这是KGS中单跳和多跳推理的第一个总框架。使用单机略微闪烁可以在FreeBase KG（86米实体，338M边缘）中执行多跳推理，比以前考虑的KGs大1,500倍。粉刷运行时性能的关键是一种新的双向抑制采样，实现了在线培训数据生成的复杂性的平方根降低。此外，SMORE利用异步调度，基于CPU的数据采样，基于GPU的嵌入计算和频繁CPU - GPU IO。 Smore通过2.2倍提高了82倍的吞吐量（即，训练速度），以最小的GPU存储器要求（2GB用于训练86M节点FreeBase上的400微米嵌入），并达到与GPU的数量接近线性加速。此外，在更简单的单跳知识图形完成任务中，Smore实现了对单个GPU和多GPU设置的最先进框架的可比或更好的运行时间性能。

输入 - 输出（IO）示例的程序综合是一项长期挑战。虽然最近的作品在特定于域的语言（DSL）上表现出有限的成功，但将它们应用于现实世界的编程语言，例如C.由于复杂的语法和令牌变化，有三种主要挑战：（1）与许多DSL不同，像C如语言的程序需要首先编译，并且不会通过解释器执行; （2）程序搜索空间在编程语言的语法和语义变得更加复杂时呈指数增长; （3）收集实际计划的大规模数据集是非微不足道的。作为解决这些挑战的第一步，我们提出了Lasynth，并在限制-C域中表现出其疗效。更具体地，Lasynth学习潜在的表示，以近似于执行部分生成的程序的执行，即使它们在语法中不完整（寻址（1））。学习的执行显着提高了对现有方法的下一个令牌预测的性能，便于搜索（寻址（2））。最后，一旦接受了随机生成的地面真理计划和IO对，Lasynth可以合成更多简明的程序，类似于人为人写的代码。此外，使用这些合成程序再培训我们的模型，对于Karel和C程序合成的样本较少，表明利用学习程序合成器的承诺来提高输入 - 输出程序合成的数据集质量（寻址（3））。在评估程序执行输出是否与IO对匹配时，Lasynth达到55.2％的精度，即用数十个代币生成简单的C代码，包括环和分支，优先表现出没有执行者的现有方法约20％。

我们在$ gi/gi/1 $队列中研究动态定价和容量大小问题，服务提供商的目标是获得最佳服务费$ p $ $ p $和服务能力$ \ mu $，以最大程度地提高累积预期利润（服务收入减去人员配备成本和延迟罚款）。由于排队动力学的复杂性质，这种问题没有分析解决方案，因此以前的研究经常诉诸于交通重型分析，在这种分析中，到达率和服务率都发送到无穷大。在这项工作中，我们提出了一个旨在解决此问题的在线学习框架，该框架不需要系统的规模增加。我们的框架在队列（GOLIQ）中被称为基于梯度的在线学习。 Goliq将时间范围组织为连续的操作周期，并开出了有效的程序，以使用先前的周期中收集的数据在每个周期中获得改进的定价和人员配备策略。此处的数据包括客户到达的数量，等待时间和服务器的繁忙时间。这种方法的创造力在于其在线性质，这使服务提供商可以通过与环境进行互动来更好。 GOLIQ的有效性得到了（i）理论结果的证实，包括算法收敛和遗憾分析（对数遗憾的束缚），以及（ii）通过模拟实验进行工程确认，以了解各种代表性$ GI/GI/GI/1 $ $ $ $ $。

An intriguing property of deep neural networks is the existence of adversarial examples, which can transfer among different architectures. These transferable adversarial examples may severely hinder deep neural network-based applications. Previous works mostly study the transferability using small scale datasets. In this work, we are the first to conduct an extensive study of the transferability over large models and a large scale dataset, and we are also the first to study the transferability of targeted adversarial examples with their target labels. We study both non-targeted and targeted adversarial examples, and show that while transferable non-targeted adversarial examples are easy to find, targeted adversarial examples generated using existing approaches almost never transfer with their target labels. Therefore, we propose novel ensemble-based approaches to generating transferable adversarial examples. Using such approaches, we observe a large proportion of targeted adversarial examples that are able to transfer with their target labels for the first time. We also present some geometric studies to help understanding the transferable adversarial examples. Finally, we show that the adversarial examples generated using ensemble-based approaches can successfully attack Clarifai.com, which is a black-box image classification system. * Work is done while visiting UC Berkeley.

非凸松弛方法已被广泛用于张量恢复问题，并且与凸松弛方法相比，可以实现更好的恢复结果。在本文中，提出了一种新的非凸函数，最小值对数凹点（MLCP）函数，并分析了其某些固有属性，其中有趣的是发现对数函数是MLCP的上限功能。所提出的功能概括为张量病例，得出张量MLCP和加权张量$ l \ gamma $ -norm。考虑到将其直接应用于张量恢复问题时无法获得其明确解决方案。因此，给出了解决此类问题的相应等效定理，即张量等效的MLCP定理和等效加权张量$ l \ gamma $ -norm定理。此外，我们提出了两个基于EMLCP的经典张量恢复问题的模型，即低秩量张量完成（LRTC）和张量稳健的主组件分析（TRPCA）以及设计近端替代线性化最小化（棕榈）算法以单独解决它们。此外，基于Kurdyka - {\ l} ojasiwicz属性，证明所提出算法的溶液序列具有有限的长度并在全球范围内收敛到临界点。最后，广泛的实验表明，提出的算法取得了良好的结果，并证实MLCP函数确实比最小化问题中的对数函数更好，这与理论特性的分析一致。

Deep learning models can achieve high accuracy when trained on large amounts of labeled data. However, real-world scenarios often involve several challenges: Training data may become available in installments, may originate from multiple different domains, and may not contain labels for training. Certain settings, for instance medical applications, often involve further restrictions that prohibit retention of previously seen data due to privacy regulations. In this work, to address such challenges, we study unsupervised segmentation in continual learning scenarios that involve domain shift. To that end, we introduce GarDA (Generative Appearance Replay for continual Domain Adaptation), a generative-replay based approach that can adapt a segmentation model sequentially to new domains with unlabeled data. In contrast to single-step unsupervised domain adaptation (UDA), continual adaptation to a sequence of domains enables leveraging and consolidation of information from multiple domains. Unlike previous approaches in incremental UDA, our method does not require access to previously seen data, making it applicable in many practical scenarios. We evaluate GarDA on two datasets with different organs and modalities, where it substantially outperforms existing techniques.

The development of social media user stance detection and bot detection methods rely heavily on large-scale and high-quality benchmarks. However, in addition to low annotation quality, existing benchmarks generally have incomplete user relationships, suppressing graph-based account detection research. To address these issues, we propose a Multi-Relational Graph-Based Twitter Account Detection Benchmark (MGTAB), the first standardized graph-based benchmark for account detection. To our knowledge, MGTAB was built based on the largest original data in the field, with over 1.55 million users and 130 million tweets. MGTAB contains 10,199 expert-annotated users and 7 types of relationships, ensuring high-quality annotation and diversified relations. In MGTAB, we extracted the 20 user property features with the greatest information gain and user tweet features as the user features. In addition, we performed a thorough evaluation of MGTAB and other public datasets. Our experiments found that graph-based approaches are generally more effective than feature-based approaches and perform better when introducing multiple relations. By analyzing experiment results, we identify effective approaches for account detection and provide potential future research directions in this field. Our benchmark and standardized evaluation procedures are freely available at: https://github.com/GraphDetec/MGTAB.